金融咨询网近期会进行系统维护,短暂的等待是为了更稳定的服务,感谢您的支持。
  • 快捷搜索
  • 全站搜索

提高信息系统数据质量的方法

2012-10-09 15:15:13作者:渤海银行股份有限公司资讯科技部 刘向民编辑:
银行系统建设提高数据质量必须通盘考虑,建立一个全面的数据质量管理体系,从数据本身的质量以及数据生命周期的过程考虑数据质量问题。

        (3)数据采集质量
        数据采集一般会通过两种方式,一种是由人工输入,这需要系统必须考虑采用严格的界面校验的方式屏蔽人为有意或无意的录入错误,比如某项数据的长度,日期字段的合法性等;另一种是文件导入,这需要在进行文件导入时验证文件包含数据的完整性,比如导入的数据条数是否正确,还要验证每条数据中的数据项是否合法,如同界面验证一样,最后还要根据系统对数据的要求对文件中的数据进行清洗和转换,同时对数据清洗和转换过程进行监测,根据监测结果对数据进行拒绝或者最终导入的操作。

        (4)数据传输质量
        数据传输质量一般包含两个方面:一方面是数据传输的安全性,包括在传输方和接收方进行加密和解密的操作,避免第三方从中截取传输包,并对其中的数据进行修改;另一方面则是指因为系统异构或交互而导致系统包含多种形式的报文格式,比如8583报文,SOAP报文,以及各种各样的自定义报文。这就要求系统做好报文接收器的转换工作,一般来说要对每种报文都配置一个解析器,对报文进行解析、验证,并最终转换为系统统一的数据形式。

        (5)数据使用质量
        数据使用质量主要指系统使用人员是否正确使用数据的问题,一方面确保每个系统使用人员按照既定的权限访问和修改数据,杜绝无权限的人员修改系统的关键数据,必要的时候可以采用授权的方式进行数据修改;另一方面要确保数据和应用之间正确的对应关系,杜绝用户将数据用于不支持的应用或者与不兼容的数据一起使用。

        (6)数据集成质量
        数据集成一般是指各个系统的运行库集中组成数据仓库的问题,这牵扯系统集中归类信息的问题,如看似相同的数据是否确定是同一类数据?同一类数据的业务主键是否一致,是否能够合并?系统使用用户的编码是否一致?各个运行库中的系统参数是否一致,是否是统一编码?时间字段是否采用统一的格式规则?时间戳的精确位数是否一致?数据库相同字段的默认值是否一致?如果解决不了这些问题,将直接导致基于数据仓库的查询是否有效准确,管理人员进行决策的基础是否正确的问题。

        (7)数据存储质量
        数据存储质量一般是指数据存储编码的问题,同时还要兼顾系统访问的可用性以及效率问题。数据存储可以有文件存储和数据库存储两种方式,每种方式都存在数据编码的问题,如果编码问题解决不了就会出现一些汉字的生僻字不能存储或者丢失的现象。同时还要考虑数据是集中存储,还是按使用频率或者在数据库中分区存储,还要考虑运行库与历史库是否分开的问题。这些问题的出现将直接导致系统访问这些数据的效率,以及是否可以访问的问题。

        3.建立全过程控制与质量管理体系
        一是从思想上高度重视数据质量。只有认识到数据对于银行业务的重要性,才会在系统建设的时候重视数据质量。要让每一位系统参与者从开始就认识到数据是银行重要的战略资源,是用来进行银行分析及决策的重要依据,没有高质量的数据就没有正确的业务内涵及管理层决策,只有这样才能从根本上杜绝低质量数据带来的危害。

        二是制定数据质量保障计划。结合银行系统建设的整个生命周期,包括分析设计、开发、测试、维护等过程,根据各个过程的主要特点制定对应的数据质量保障计划,保障系统相关人员在进入系统建设的每个阶段前都了解和数据质量保障相关的计划和措施,从源头上保障系统提供可靠的数据来源。久而久之,就会制定出成熟度高、通用性强的数据质量保障计划,确保每个系统按照既定的数据质量保障原则进行建设,为后续工作提供强有力的基础和保障。

        三是建立数据质量评估标准。数据质量的评估指标一般指信息系统表达的数据视图与客观世界同一数据的距离,但是从不同部门或者不同角度来看数据质量都是不同的,所以与数据生命周期有关的各个部门必须从自己的专业领域或者使用数据的角度,结合实际情况,分别定义自己的评估标准。比如业务部门要求数据必须反映真实的情况,数据仓库部门要求数据符合一定的格式和规范等。

        四是建立数据质量控制策略。因为数据源是不断变化的,数据量是不断增加的,数据模型也是不断改进和优化的,所以必须要进行数据质量控制,这个过程肯定也是反复迭代、持续改进、螺旋上升的过程。最好能够成立一个数据质量控制机构,对数据的整个处理过程制定完善的数据质量控制流程,遵循计划、评估、改进的数据控制模型对数据进行质量控制。

        总之,银行系统建设应该建立良好的、适合本行业务环境内数据特征的数据质量管理体系,通过对数据内在质量以及数据过程质量的管理,制定数据质量保障计划,建立数据质量评估体系,应用数据质量控制策略不断提升银行数据质量,真正做到各种银行系统和数据质量紧密结合成一个可靠、灵活、全面、高效的银行信息基础设施。

(文章来源:中国金融电脑)
 

首页 上一页 1 2 3

扫码即可手机
阅读转发此文

本文评论

相关文章